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BAB | 


TEORI REGRESI 


11 Pengertian 


Apa yang dimaksud dengan regresi linier? 


Istilah regresi pertama kali dalam konsep statistik digunakan oleh Sir 
Francis Galton dimana yang bersangkutan melakukan kajian yang 
menunjukkan bahwa tinggi badan anak-anak yang dilahirkan dari para 
orang tua yang tinggi cenderung bergerak (regress) kearah ketinggian 
rata-rata populasi secara keseluruhan. 


Galton memperkenalkan kata regresi (regression) sebagai nama 
proses umum untuk memprediksi satu variabel, yaitu tinggi badan 
anak dengan menggunakan variabel lain, yaitu tinggi badan orang tua. 


Pada perkembangan berikutnya hukum Galton mengenai regresi ini 
ditegaskan lagi oleh Karl Pearson dengan menggunakan data lebih 
dari seribu. 


Pada perkembangan berikutnya, para ahli statistik menambahkan 
istilah regresi berganda (multiple regression) untuk menggambarkan 
proses dimana beberapa variabel digunakan untuk memprediksi satu 
variabel lainnya. 


Regresi dalam pengertian moderen menurut Gujarati (2009) ialah se- 
bagai kajian terhadap ketergantungan satu variabel, yaitu variabel ter- 
gantung terhadap satu atau lebih variabel lainnya atau yang disebut 
sebagai variabel-variabel eksplanatori dengan tujuan untuk membuat 
estimasi dan / atau memprediksi rata-rata populasi atau nilai rata-rata 
variabel tergantung dalam kaitannya dengan nilai-nilai yang sudah 
diketahui dari variabel ekslanatorinya. 


Versi Pdf Lengkapnya di ipusnas.com 


Selanjutnya menurut Gujarati meski analisis regresi berkaitan dengan 
ketergantungan atau dependensi satu variabel terhadap variabel-varia- 
bel lainnya hal tersebut tidak harus menyiratkan sebab-akibat (causa- 
tion). 


Dalam mendukung pendapatnya ini, Gujarati mengutip pendapat 
Kendal dan Stuart yang diambil dari buku mereka yang berjudul “The 
Advanced Statistics” yang terbit pada tahun 1961 yang mengatakan 
bahwa,” suatu hubungan statistik betapapun kuat dan sugestifnya tidak 
akan pernah dapat menetapkan hubungan sebab akibat (causal con- 
nection), sedang gagasan mengenai sebab akibat harus datang dari 
luar statistik, yaitu dapat berasal dari teori atau lainnya”. 


Sedang menurut Levin & Rubin (1998:648), regresi digunakan untuk 
menentukan sifat-sifat dan kekuatan hubungan antara dua variabel 
serta memprediksi nilai dari suatu variabel yang belum diketahui 
dengan didasarkan pada observasi masa lalu terhadap variabel tersebut 
dan variabel-variabel lainnya. 


Selanjutnya dalam regresi kita akan mengembangkan persamaan esti- 
masi (estimating eguation), yaitu rumus matematika yang menghu- 
bungkan variabel-variabel yang diketahui dengan variabel-variabel 
yang tidak diketahui. 


Setelah dipelajari pola hubungannya, kemudian kita dapat mengapli- 
kasikan analisis korelasi (correlation analysis) untuk menentukan 
tingkatan dimana variabel-variabel tersebut berhubungan. 


Kesimpulannya, analisis korelasi mengungkapkan seberapa benar per- 
samaan estimasi sebenarnya menggambarkan hubungan tersebut. 
Lebih lanjut Levin & Rubin mengatakan bahwa: “Kita sering 
menemukan hubungan sebab akibat antar variabel-variabel, yaitu vari- 
abel bebas “menyebabkan? variabel tergantung berubah. 


Sekalipun demikian mereka melanjutkan bahwa: “Penting untuk kita 
perhatikan bahwa yang kita anggap hubungan (relationship) yang 
diketemukan melalui regresi sebagai hubungan asosiasi (relationship 
of association) tetapi tidak selalu harus sebab dan akibat (cause and 


effect). 


Kecuali kita mempunyai alasan-alasan khusus untuk percaya bahwa 
(perubahan pada) nilai-nilai variabel tergantung disebabkan oleh nilai- 


Versi Pdf Lengkapnya di ipusnas.com 


nilai variabel (variabel) bebas: jangan menyimpulkan (infer) hubu- 
ngan sebab akibat dari hubungan yang diketemukan dalam regresi. 


Karena Levin & Rubin dalam mendefinisikan regresi juga 
menggunakan istilah “analisis korelasi”, maka sebaiknya dalam ba- 
gian ini penulis perlu menjelaskan perbedaan antara regresi dan ko- 
relasi. 


Menurut Gujarati (2009: 20) analisis korelasi bertujuan untuk mengu- 
kur kekuatan (strength) atau tingkatan (degree) hubungan linier (Jine- 
ar association) antara dua variabel. 


Untuk mengukur kekuatan hubungan linier ini digunakan koefisien 
korelasi. Sebaliknya dalam regresi kita tidak melakukan pengukuran 
seperti itu. 


Dalam regresi kita membuat estimasi atau memprediksi nilai rata-rata 
satu variabel didasarkan pada nilai-nilai tetap variabel-variabel lain. 


Perbedaan yang mendasar antara regresi dan korelasi ialah dalam re- 
gresi terdapat (hubungan) asimetri dalam kaitannya dengan perlakuan 
terhadap variabel tergantung dan variabel bebas. 


Variabel tergantung diasumsikan statistitikal, acak atau stokhastik, 
yaitu mempunyai distribusi probabilitas. Sedang variabel bebas / 
prediktornya diasumsikan mempunyai nilai-nilai tetap. 


Sebaliknya dalam korelasi kita memperlakukan dua variabel atau vari- 
abel-variabel apa saja secara simetris, yaitu tidak ada perbedaan antara 
variabel bebas dan variabel tergantung. 


Sebagai contoh korelasi antara nilai ujian matematik dan statistik 
sama dengan korelasi nilai ujian statistik dan matematik. Lebih lanjut 
dalam korelasi kedua variabel diasumsikan random. 


Regresi linier mempunyai persamaan yang disebut sebagai persamaan 
regresi. Persamaan regresi mengekspresikan hubungan linier antara 
variabel tergantung / variabel kriteria yang diberi simbol Y dan salah 
satu atau lebih variabel bebas / prediktor yang diberi simbol X jika 
hanya ada satu prediktor dan X,, X» sampai dengan Xk, jika terdapat 
lebih dari satu prediktor (Crammer & Howitt, 2006:139). 


Persamaan regresi akan terlihat seperti di bawah ini: 
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1) Untuk persamaan regresi dimana Y merupakan nilai yang dipre- 
diksi, maka persamaannya ialah: 


Y —a 4 P,Xj (untuk regresi linier sederhana) 


Y —atPX #PX) £ ... 4 Pig (untuk regresi linier berganda) 


2) Untuk persamaan regresi dimana Y merupakan nilai sebenarnya 
(observasi), maka persamaan menyertakan kesalahan (error term 
/ residual) akan menjadi: 


Y —a4PB,Xj te (untuk regresi linier sederhana) 


Y —aH PX HE PX) Ht... 4 PiXk H € (untuk regresi linier ber- 
ganda) 


Dimana: 


X: merupakan nilai sebenarnya suatu kasus (data) 

P: merupakan koefisien regresi jika hanya ada satu prediktor 
dan koefisien regresi parsial jika terdapat lebih dari satu 
prediktor. Nilai ini juga mewakili mewakili koefisien regresi 
baku (standardized) dan koefisien regresi tidak baku (un- 
Standardized). Koefisien regresi ini merupakan jumlah peru- 
bahan yang terjadi pada Y yang disebabkan oleh perubahan 
nilai X. Untuk menghitung perubahan ini dapat dilakukan 
dengan cara mengalikan nilai prediktor sebenarnya (ob- 
servasi) untuk kasus (data) tertentu dengan koefisien regresi 
prediktor tersebut. 

a: merupakan intercept yang merupakan nilai Y saat nilai 
prediktor sebesar nol. 


Sedang garis regresi didefinisikan sebagai garis lurus yang ditarik dari 
titik-titik diagram pencar (scattered diagram) dari nilai variabel ter- 
gantung dan variabel bebas sehingga garis tersebut menggambarkan 
hubungan linier antara variabel-variabel tersebut. 


Jika nilai-nilai ini merupakan garis regresi nilai baku maka garis ini 
sama dengan garis korelasi. Garis ini disebut juga sebagai garis keco- 
cokan yang sempurna dimana garis lurus tersebut berada pada posisi 
terdekat pada titik-titik diagram pencar. 


Garis ini dapat digambarkan dari nilai-nilai persamaan regresi dalam 
bentuk yang paling sederhana yaitu: 


A 
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Nilai yang diprediksi - intercept # (koefisien regresi x nilai prediktor) 


Sumbu vertikal dari diagram pencar digunakan untuk menggambarkan 
nilai-nilai variabel tergantung sedang sumbu horizontal menggam- 
barkan nilai prediktor. 


Intercept merupakan titik sumbu vertikal yang merupakan nilai varia- 
bel tergantung yang diprediksi saat nilai prediktor atau variabel bebas 
sebesar nol. 


Nilai yang diprediksi akan sebesar akan sebesar 0 jika koefisien re- 
gresi baku digunakan. Itulah sebabnya saat menggunakan IBM SPSS 
keluaran yang digunakan dalam koefisien regresi menggunakan 
keluaran pada kolom “unstandardized coefficien?”. 


Jika digambarkan akan nampak seperti di bawah ini: 


Y 


5 -- - AX (X, Y)atau (2,5) 


Gambar 1.1 Garis Regresi 
Persamaannya ialah 


Y—atPXi 
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Dengan: 

Y-— variabel tergantung / variabel kriteria 
a— intercept Y 

B — kemiringan (slope) 


X- variabel bebas 


Garis regresi mempunyai 3 (tiga) kemungkinan yaitu: 1) hubungan 
linier positif, 2) hubungan linier negatif, dan 3) tidak ada hubungan 
linier. Gambarnya seperti di bawah ini: 


1) Hubungan Linier Positif 


Y 


Garis regresi 


Slope positif 


1 2 3 4 5 6 7 8 


Gambar 1.2 Hubungan Linier Positif 
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2) Hubungan Linier Negatif 


8 


7 


Y 


Haa 


j Slope negatif 


it 


Garis regresi 


1 2 3 4 5 6 7 8 


Gambar 1.3 Hubungan Linier Negatif 


3) Tidak Ada Hubungan Linier 


8 


7 


Y 


Slope sama dengan O 


Garis regresi 


1 2 3 4 5 6 7 8 


Gambar 1.4 Tidak Ada Hubungan Linier 
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Agar kita memperoleh kejelasan dalam penggunaan istilah, maka 
di bawah ini diberikan istilah-istilah yang mewakili pengertian 
variabel bebas dan variabel tergantung dalam regresi. Gujarati 
memberikan istilah sebagai berikut: 


— Variabel tergantung (dependent variable): disebut juga se- 
bagai variabel yang dijelaskan (explained variable) / variabel 
yang diprediksi (predictand) / regresan (regressand) / variabel 
yang merespon (response) / endegenous / keluaran (outcome) 
/ variabel yang dikontrol (controlled variable). 

— Variabel yang menerangkan (explanatory variable): disebut 
juga sebagai variabel tergantung (dependent variable) / varia- 
bel yang memprediksi (predictor) / regresor (regressor) / 
variabel stimulus (stimulus) / exogenous / kovariat (covariate) 
/ variabel kontrol (control variable). 


1.2 Tujuan 


Tujuan menggunakan analisis regresi ialah 


1) Membuat estimasi rata-rata dan nilai variabel tergantung 
dengan didasarkan pada nilai variabel bebas. 

2) Menguji hipotesis karakteristik dependensi. 

3) Untuk meramalkan nilai rata-rata variabel bebas dengan 
didasarkan pada nilai variabel bebas diluar jangkauan sampel. 


1.3 Asumsi Penggunaan Regresi 
Penggunaan regresi linear sederhana didasarkan pada asumsi dian- 
taranya sebagai berikut: 

1) Model regresi harus linier dalam parameter. 


2) Variabel bebas tidak berkorelasi dengan disturbance term (Er- 
ror) . 


Nilai disturbance term sebesar 0 atau dengan simbol sebagai berikut: 


) BE U/X)-0 


2) Varian untuk masing-masing error term (kesalahan) konstan. 
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3) Tidak terjadi otokorelasi. 


4) Model regresi dispesifikasi secara benar. Tidak terdapat bias 
spesifikasi dalam model yang digunakan dalam analisis em- 
piris. 

5) Jika variabel bebas lebih dari satu, maka antara variabel bebas 
(explanatory) tidak ada hubungan linier yang nyata. 


1.4 Syarat-Syarat 


Model kelayakan regresi linear dalam IBM SPSS didasarkan pada hal- 
hal sebagai berikut: 


1) Model regresi dikatakan layak jika angka signifikansi pada 
ANOVA sebesar « 0.05 


2) Predictor yang digunakan sebagai variabel bebas harus layak. 
Kelayakan ini diketahui jika angka Standard Error of Esti- 
mate « Standard Deviation 


Koefisien regresi harus signifikan. Pengujian dilakukan dengan uji t. 
Koefisien regresi signifikan jika t hitung » t table (nilai kritis). dalam 
IBM SPSS dapat diganti dengan menggunakan nilai signifikansi (sig) 
dengan ketentuan sebagai berikut: 


— Jika sig « 0,05, koefisien regresi signifikan 
— Jika sig» 0,05, koefisien regresi tidak signifikan 


Tidak boleh terjadi multikolinieritas, artinya tidak boleh terjadi ko- 
relasi antar variabel bebas yang sangat tinggi atau terlalu rendah. 


Syarat ini hanya berlaku untuk regresi linier berganda dengan variabel 
bebas lebih dari satu. Terjadi multikolinieritas jika koefisien korelasi 
antara variable bebas » 0,7 atau « - 7 


Tidak terjadi otokorelasi jika: 
1) -2sDWS2 


2) Keselarasan model regresi dapat diterangkan dengan 
menggunakan nilai r' semakin besar nilai tersebut maka model 
semakin baik. Jika nilai mendekati 1 maka model regresi se- 
makin baik. 


9 


Versi Pdf Lengkapnya di ipusnas.com 


3) Nilai r' mempunyai karakteristik diantaranya: 1) selalu positif, 
2) Nilai r? maksimal sebesar 1. Jika Nilai r? sebesar 1 akan 
mempunyai arti kesesuaian yang sempurna. 


4) Maksudnya seluruh variasi dalam variabel tergantung (varia- 
bel Y) dapat diterangkan oleh model regresi. Sebaliknya jika 
r' sama dengan 0, maka tidak ada hubungan linier antara vari- 
abel bebas (variabel X) dan variabel tergantung (variabel Y). 


5) Terdapat hubungan linier antara variabel bebas (X) dan varia- 
bel tergantung (Y) 


6) Data harus berdistribusi normal 
7) Data berskala interval atau rasio 


8) Terdapat hubungan dependensi, artinya satu variabel merupa- 
kan variabel tergantung yang tergantung pada variabel (varia- 
bel) lainnya. 


1.5 Konsep Linieritas dalam Regresi 


Ada dua macam linieritas dalam analisis regresi, yaitu linieritas dalam 
variabel dan linieritas dalam parameter. Yang pertama, linier dalam 
variabel merupakan nilai rata-rata kondisional variabel tergantung 
yang merupakan fungsi linier dari variabel (variabel) bebas. 


Sedang yang kedua, linier dalam parameter merupakan fungsi linier 
parameter dan dapat tidak linier dalam variabel. 


1.6 Uji Hipotesis 


Pengujian hipotesis dapat didasarkan dengan menggunakan dua hal, 
yaitu: tingkat signifikansi atau probabilitas (a) dan tingkat ke- 
percayaan atau confidence level. 


Didasarkan tingkat signifikansi pada umumnya orang menggunakan 
0,05. Kisaran tingkat signifikansi mulai dari 0,01 sampai dengan 0,1. 


Yang dimaksud dengan tingkat signifikansi adalah probabilitas 
melakukan kesalahan tipe I, yaitu kesalahan menolak hipotesis ketika 
hipotesis tersebut benar. 
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Tingkat kepercayaan pada umumnya ialah sebesar 95Y6, yang dimak- 
sud dengan tingkat kepercayaan ialah tingkat dimana sebesar 9544 
nilai sample akan mewakili nilai populasi dimana sample berasal. 


IBM SPSS menggunakan istilah interval kepercayaan (confidence in- 
terval). Interval kepercayaan yang sering juga disebut margin of error 
merupakan nilai yang mencerminkan kurang atau lebih, misalnya in- 
terval kepercayaan 5 dan 50”o dalam pengambilan sampel mempunyai 
makna bahwa sampel yang kita pilih akan menjawab pertanyaan-per- 
tanyaan yang kita berikan dalam kisaran antara 4549 (50Y6 - 5Y6) dan 
55Y9 (5040 # 5Y0). 


Untuk melakukan uji hipotesis diperlukan hipotesis riset. Hipotesis 
riset merupakan dugaan mengenai sifat fakta-fakta yang memung- 
kinkan. 


Hipotesis ini dianggap sebagai titik awal penyelidikan. Sebagai con- 
toh, peneliti berpendapat bahwa promosi secara besar-besaran ber- 
pengaruh terhadap penjualan. 


Sedang dalam statistik, terdapat dua hipotesis, yaitu hipotesis nol (HO) 
dan hipotesis alternatif (H1 / Ha). Hipotesis nol dalam statistik meru- 
pakan hipotesis yang sebenarnya kita uji. 


Hipotesis ini merupakan pernyataan peneliti yang mengatakan bahwa 
variabel bebas tidak mempunyai pengaruh terhadap variabel tergan- 
tung (dalam regresi) dan tidak ada hubungan antara dua variabel (da- 
lam korelasi). 


Dalam hipotesis nol kita berasumsi bahwa sampel-sampel berasal dari 
populasi yang sama. Sedang hipotesis alternatif merupakan hipotesis 
yang memberikan alternatif berbeda dengan hipotesis nolnya. 


Dengan demikian dalam kaitannya dengan hipotesis nol di atas, maka 
peneliti mengatakan bahwa variabel bebas mempunyai pengaruh ter- 
hadap variabel tergantung (dalam regresi) dan ada hubungan antara 
dua variabel (dalam korelasi). 


Contoh uji hipotesis misalnya rata-rata produktivitas pegawai sama 
dengan 10 (u x— 10), maka bunyi hipotesisnya ialah: 


H0: Rata-rata produktivitas pegawai sama dengan 10 
H1: Rata-rata produktivitas pegawai tidak sama dengan 10 
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